Open Science bei Forschungssynthesen


Studien, die PRISMA-Kriterien in Forschungssynthesen beurteilen

  • Wong & Bouchard (2023): Keine von 33 Metaanalysen vollständig reproduzierbar (22 Kriterien, PRISMA-basiert).
  • Sun et al. (2019): 64 Synthesen, durchschnittlich 19/27 PRISMA- und 6/11 AMSTAR-Punkte.
  • Maticic et al. (2019): Über 60 % von 244 Synthesen berichten weniger als 50 % der PRISMA-A-Kriterien.
  • Lakens et al. (2017): Nur 4 % der 20 Metaanalysen erfüllen Dokumentationsstandards, 25 % nicht reproduzierbar.
  • Polanin et al. (2020): 155 Studien berichten im Durchschnitt 55 % der PRISMA-Kriterien.


Aus König et al.:
“we acquired data from 28 meta-analyses” von den 180 der Recherche?

Open Science bei Forschungssynthesen

(Schneider & Heck, 2024)

Vorgehen


Diskussion der Beiträge entlang

  • Präregistriert/ Registered Report
  • FAIR Data
  • Reproduzierbarkeit
  • Publikationsformat
  • Wo sind Stärken?
  • Wo sind Herausforderungen?
  • Was können wir alle daraus mitnehmen?

“Ein systematischer Überblick über Tools”

Fütterer et al. 


  • KI-Tools verringern die Arbeitsbelastung -> weniger Ermüdung, weniger Verzerrungen/Fehler
  • Recherche, Analyse und Testung von Tools -> spart Kolleg:innen Zeit, stellt Qualität sicher


Präregistriert/ Registered Report

Sinnvoll anwendbar? (evtl. exclusion criteria)

FAIR Data

Reproduzierbarkeit

Publikationsformat

“Ein systematischer Überblick über Tools”

Fütterer et al. 

Anderes Publikationsformat?

  • Alternative: OER (z. B. Quarto Book) bietet interaktive Möglichkeiten, Ergänzungen & Updates (längere Halbwertszeit).
  • Ermöglicht kollaboratives Arbeiten: Kolleg*innen können per Pull-Request Inhalte ergänzen.
  • Begrenzung durch Word-Limits entfällt.

Die Verlockung klassischer Publikationsformate

  • „Währung der Wissenschaft“ (z.B. Einstellungsverfahren, Forschendenevaluation)
  • Es fehlen etablierte Alternativen, um Informationen effektiv in die Community zu bringen.

Alternative Formate des Forschungsbeitrags: Anreize

  • Etablierte Professor:innen: Universität/Einrichtung CoARA (2022) unterzeichnen, action plan umsetzen
  • Wiss. Gesellschaften: Position beziehen, schriftlich fixieren (z.B. Stellungnahme der GEBF-OSI?)

“Abbruchregeln im KI-gestützten Screening”

König et al. 


  • verringerte Arbeitsbelastung beim Screening -> weniger Ermüdung, weniger Verzerrungen/Fehler
  • Vielfalt an Stopping rules, Learning algorithms/classification methods, Softwares


Präregistriert/ Registered Report

+ dokumentierte Abweichung

FAIR Data

Reproduzierbarkeit

übersichtliche Ordnerstruktur & Dateibenennung. Siehe z.B. Psych-DS
Benennung der Software- & Paketversionen? (alternativ: renv, groundhog)

Publikationsformat

“Abbruchregeln im KI-gestützten Screening”

König et al. 



“Preregistration: A Plan, Not a Prison” (DeHaven, 2017)

“Abbruchregeln im KI-gestützten Screening”

König et al. 



  • Neue Artikel- & Publikationsformate sinnvoll?
    • Executable Research Article (z.B. eLife) (Lasser, 2020)
    • Quarto Markdown-Dokument (Input, Output, Text, Bilder, …)
    • Jupyter Notebooks
  • Wie die nächsten Schritte gehen?
    • Verlage haben keinen Grund für Änderungen
    • Diese müssen von uns angestoßen werden - we got the power ;)

“Abbruchregeln im KI-gestützten Screening”

König et al. 

eLife: Executable Research Article

“Abbruchregeln im KI-gestützten Screening”

König et al. 


Einführung Quarto

“Einsatz von Large Language Models”

Chernikova & Stadler


  • Unterstützung von LLM bei Forschungssynthesen (screening, extracting information, coding)
  • Niederschwelliger als machine learning


Präregistriert/ Registered Report

(bisher) keine Information

FAIR Data

(bisher) keine Information

Reproduzierbarkeit

Publikationsformat

laufende Untersuchung

“Einsatz von Large Language Models”

Chernikova & Stadler


Reproduzierbarkeit:

Unabhängige Forschende, die
dieselben Daten und Analyseverfahren verwenden,
gelangen zu identischen Resultaten


“In principle, all reported evidence should be reproducible” (Nosek et al., 2022, S. 721)

Mit proprietären LLMs

“Einsatz von Large Language Models”

Chernikova & Stadler


LLM / AI wird wohl intransparent bleiben


(Reuters, January 22, 2025)

“Einsatz von Large Language Models”

Chernikova & Stadler

  • Dokumentation der Modelle, Einstellungen
  • temperature = 0?
    “A temperature of 0 would make the model completely deterministic, always choosing the most likely token.”
  • Zugriff auf ältere Modelle nach Updates evtl. nicht möglich

=> AG innerhalb der GEBF sinnvoll? (z.B. im Austausch mit der AG Open Science)

Zum Abschluss

ein Vorschlag & Ressourcen


  • Folien teilen als Standard?
  • Repositorien, z.B. Zenodo oder OSF
    • DOI = zitierbar (!)
    • URL-Kürzer, z.B. t1p.de (keine Datenkrake)


Thank you



Jürgen Schneider

References

CoARA. (2022). Agreement on Reforming Research Assessment.
DeHaven, A. (2017). Preregistration: A Plan, Not a Prison. In Center for Open Science.
Lasser, J. (2020). Creating an executable paper is a journey through Open Science. Communications Physics, 3(1), 143. https://doi.org/10.1038/s42005-020-00403-4
Nosek, B. A., Hardwicke, T. E., Moshontz, H., Allard, A., Corker, K. S., Dreber, A., Fidler, F., Hilgard, J., Kline Struhl, M., Nuijten, M. B., Rohrer, J. M., Romero, F., Scheel, A. M., Scherer, L. D., Schönbrodt, F. D., & Vazire, S. (2022). Replicability, Robustness, and Reproducibility in Psychological Science. Annual Review of Psychology, 73(1), 719–748. https://doi.org/10.1146/annurev-psych-020821-114157
Schneider, J., & Heck, T. (2024). Reproduzierbarkeit bei Forschungssynthesen. Herausforderungen und Lösungsansätze. In A. Wilmers (Ed.), Bildung im digitalen Wandel. Forschungssynthesen im Metavorhaben Digi-EBF. Methode, Auswertung, Perspektiven (pp. 161–189). Waxmann Verlag GmbH. https://doi.org/10.31244/9783830999126.08

Credit

Title page

Icons by Font Awesome CC BY 4.0

Slides: t1p.de/gebf25-diskussion-ai